/**
 *WangGANG
 *2018/10/8
 */
package main

import (
	"net/http"
	"tool"
	"io/ioutil"
	"regexp"
	"strings"
	"fmt"
)

func main() {
	resp,err := http.Get("http://www.baidu.com")
	tool.ErrTest(err)
	defer resp.Body.Close()
	body,err := ioutil.ReadAll(resp.Body)
	tool.ErrTest(err)

	src := string(body)

	//将HTML标签全转换成小写
	// \s 可以匹配空格、制表符、换页符等空白字符的其中任意一个
	// \S 大写，可以匹配任何一个空白字符以外的字符
	re,_ := regexp.Compile("\\<[\\S\\s]+?\\>")
	src = re.ReplaceAllStringFunc(src,strings.ToLower)

	//去除STYLE
	re,_  = regexp.Compile("\\<style[\\S\\s]+?\\</style\\>")
	src = re.ReplaceAllString(src,"")
	//fmt.Println(src)

	//去除SCRIPT
	re, _ = regexp.Compile("\\<script[\\S\\s]+?\\</script\\>")
	src = re.ReplaceAllString(src, "")

	//去除所有尖括号内的HTML代码，并换成换行符
	re, _ = regexp.Compile("\\<[\\S\\s]+?\\>")
	src = re.ReplaceAllString(src, "\n")

	//去除连续的换行符
	re, _ = regexp.Compile("\\s{2,}")
	src = re.ReplaceAllString(src, "\n")

	fmt.Println(src)

}